在本文中，我们研究了多语言句子嵌入的使用，以转移跨管辖区，法律制度（普通和民法），语言和域名的审判决策功能分割的预测模型（即语境）。利用原始环境之外的语言资源的机制在AI和法律中具有显着的潜在利益，因为法律制度，语言或传统之间的差异往往阻碍了更广泛的研究结果。我们使用跨语言可转换的门控复发单元（GRUS）分析使用语言无话句子表示的使用。调查不同背景之间的转移，我们开发了一种审判决策功能分割的注释方案。我们发现模特超出了他们接受培训的背景（例如，在美国的行政决定上培训的模型可以应用于意大利的刑法决定）。此外，我们发现在多种上下文上培训模型增加了鲁棒性并在评估先前看不见的上下文时提高整体性能。最后，我们发现，从所有上下文中汇集训练数据增强了模型的上下文性能。

Random graph models with community structure have been studied extensively in the literature. For both the problems of detecting and recovering community structure, an interesting landscape of statistical and computational phase transitions has emerged. A natural unanswered question is: might it be possible to infer properties of the community structure (for instance, the number and sizes of communities) even in situations where actually finding those communities is believed to be computationally hard? We show the answer is no. In particular, we consider certain hypothesis testing problems between models with different community structures, and we show (in the low-degree polynomial framework) that testing between two options is as hard as finding the communities. In addition, our methods give the first computational lower bounds for testing between two different `planted' distributions, whereas previous results have considered testing between a planted distribution and an i.i.d. `null' distribution.

Intelligently extracting and linking complex scientific information from unstructured text is a challenging endeavor particularly for those inexperienced with natural language processing. Here, we present a simple sequence-to-sequence approach to joint named entity recognition and relation extraction for complex hierarchical information in scientific text. The approach leverages a pre-trained large language model (LLM), GPT-3, that is fine-tuned on approximately 500 pairs of prompts (inputs) and completions (outputs). Information is extracted either from single sentences or across sentences in abstracts/passages, and the output can be returned as simple English sentences or a more structured format, such as a list of JSON objects. We demonstrate that LLMs trained in this way are capable of accurately extracting useful records of complex scientific knowledge for three representative tasks in materials chemistry: linking dopants with their host materials, cataloging metal-organic frameworks, and general chemistry/phase/morphology/application information extraction. This approach represents a simple, accessible, and highly-flexible route to obtaining large databases of structured knowledge extracted from unstructured text. An online demo is available at http://www.matscholar.com/info-extraction.

Suppose we are given an $n$-dimensional order-3 symmetric tensor $T \in (\mathbb{R}^n)^{\otimes 3}$ that is the sum of $r$ random rank-1 terms. The problem of recovering the rank-1 components is possible in principle when $r \lesssim n^2$ but polynomial-time algorithms are only known in the regime $r \ll n^{3/2}$. Similar "statistical-computational gaps" occur in many high-dimensional inference tasks, and in recent years there has been a flurry of work on explaining the apparent computational hardness in these problems by proving lower bounds against restricted (yet powerful) models of computation such as statistical queries (SQ), sum-of-squares (SoS), and low-degree polynomials (LDP). However, no such prior work exists for tensor decomposition, largely because its hardness does not appear to be explained by a "planted versus null" testing problem. We consider a model for random order-3 tensor decomposition where one component is slightly larger in norm than the rest (to break symmetry), and the components are drawn uniformly from the hypercube. We resolve the computational complexity in the LDP model: $O(\log n)$-degree polynomial functions of the tensor entries can accurately estimate the largest component when $r \ll n^{3/2}$ but fail to do so when $r \gg n^{3/2}$. This provides rigorous evidence suggesting that the best known algorithms for tensor decomposition cannot be improved, at least by known approaches. A natural extension of the result holds for tensors of any fixed order $k \ge 3$, in which case the LDP threshold is $r \sim n^{k/2}$.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

我们提供了证据表明，学到的密度功能理论（``dft'）的力场已准备好进行基态催化剂发现。我们的关键发现是，尽管预测的力与地面真相有很大差异，但使用从超过50 \％的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义，即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT，例如在Open Catalyst 2020数据集中发现的电位。此外，我们表明，在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \％的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比，这种``简易电位''的收敛步骤更少，这进一步加速了计算。它的成功说明了一个关键：即使模型具有高力误差，学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性，因此我们的结果开辟了快速找到大型系统基础状态的可能性。

在不失去先前学习的情况下学习新任务和技能（即灾难性遗忘）是人为和生物神经网络的计算挑战，但是人工系统努力与其生物学类似物达成平等。哺乳动物的大脑采用众多神经手术来支持睡眠期间的持续学习。这些是人工适应的成熟。在这里，我们研究了建模哺乳动物睡眠的三个不同组成部分如何影响人工神经网络中的持续学习：（1）在非比型眼运动（NREM）睡眠期间观察到的垂直记忆重播过程； （2）链接到REM睡眠的生成记忆重播过程； （3）已提出的突触降压过程，以调整信噪比和支持神经保养。在评估持续学习CIFAR-100图像分类基准上的性能时，我们发现将所有三个睡眠组件的包含在内。在以后的任务期间，训练和灾难性遗忘在训练过程中提高了最高准确性。尽管某些灾难性遗忘在网络培训过程中持续存在，但更高水平的突触缩减水平会导致更好地保留早期任务，并进一步促进随后培训期间早期任务准确性的恢复。一个关键的要点是，在考虑使用突触缩小范围的水平时，手头有一个权衡 - 更具侵略性的缩减更好地保护早期任务，但较少的缩减可以增强学习新任务的能力。中级水平可以在训练过程中与最高的总体精度达到平衡。总体而言，我们的结果都提供了有关如何适应睡眠组件以增强人工连续学习系统的洞察力，并突出了未来神经科学睡眠研究的领域，以进一步进一步进行此类系统。

给定尺寸$ d $中的独立标准高斯点$ v_1，\ ldots，v_n $，对于$（n，d）$的值（n，d）$的值很高，概率很高，同时通过所有要点？将椭圆形拟合到随机点的基本问题与低级别矩阵分解，独立的组件分析和主成分分析有连接。基于有力的数值证据，桑德森，帕里洛和威尔斯基[Proc。关于决策和控制会议，第6031-6036页，2013年]猜想，椭圆形拟合问题的问题从可行的到不可行的$ n $增加，并在$ n \ sim d^2/4处急剧阈值$。我们通过为某些$ n = \ omega（\，d^2/\ log^5（d）\，）$构建合适的椭圆形来解决这个猜想，从而改善了Ghosh等人的先前工作。 [Proc。关于计算机科学基础的研讨会，第954-965、2020页]，需要$ n = o（d^{3/2}）$。我们的证明证明了Saunderson等人的最小二乘结构的可行性。使用对特定非标准随机矩阵的特征向量和特征值进行仔细的分析。

我们介绍了一种考虑复杂的环境条件，在极地地区介绍了一种在极地地区长距离海上路线计划的方法。该方法允许构建优化的路线，描述了该过程的三个主要阶段：使用不均匀网格对环境条件进行离散建模，网格最佳路径的构建以及路径平滑。为了说明不同的车辆性能，我们构建了一系列数据驱动的功能，这些功能可以应用于环境网格，以确定给定容器和网格单元的速度限制和燃料要求，以图形和地理空间表示这些数量。在描述我们的结果时，我们展示了一个示例用途，用于Polar Research船RRS David Attenborough爵士（SDA）的路线规划，核算冰的性能特征，并验证韦德尔海地区的时空路线构建，南极洲。我们通过证明路线的变化取决于季节性海冰可变性，所使用的路线规划目标函数的差异以及其他环境条件（如电流）的存在来证明这种路线构建方法的多功能性。为了证明我们的方法的普遍性，我们在北极海洋和波罗的海中介绍了例子。本手稿中概述的技术是通用的，因此可以应用于具有不同特征的血管。我们的方法不仅可以拥有一个船只计划程序，而且我们概述了该工作流程如何适用于更广泛的社区，例如商业和乘客运输。

产量估计是葡萄园管理中的强大工具，因为它允许种植者微调实践以优化产量和质量。但是，目前使用手动抽样进行估计，这是耗时和不精确的。这项研究表明，近端成像的应用与深度学习相结合，以进行葡萄园中的产量估计。使用车辆安装的传感套件进行连续数据收集，并使用商业收益率监控器在收获时结合了地面真实收益数据的收集，可以生成一个23,581个收益点和107,933张图像的大数据集。此外，这项研究是在机械管理的商业葡萄园中进行的，代表了一个充满挑战的图像分析环境，但在加利福尼亚中央山谷中的一组常见条件。测试了三个模型架构：对象检测，CNN回归和变压器模型。对象检测模型在手工标记的图像上进行了训练以定位葡萄束，并将束数量或像素区域求和以与葡萄产量相关。相反，回归模型端到端训练，以预测图像数据中的葡萄产量，而无需手动标记。结果表明，在代表性的保留数据集上，具有相当的绝对百分比误差为18％和18.5％的变压器和具有像素区域处理的对象检测模型。使用显着映射来证明CNN模型的注意力位于葡萄束的预测位置附近以及葡萄树冠的顶部。总体而言，该研究表明，近端成像和深度学习对于大规模预测葡萄群的适用性。此外，端到端建模方法能够与对象检测方法相当地执行，同时消除了手工标记的需求。